BeNice! Closing Looping's Inference-Memory Gap via KV-Sharing
BeNice!：通过 KV 共享弥合循环架构推理内存差距
🧭 LLM 循环架构 · KV-cache 共享
University of California, San Diego · Together AI
用随机深度预训练加末层KV广播后训练，实现循环模型跨层KV共享且不掉点
📌 工作参考价值（4 点）
- 部署 LLM 作为长用户行为序列编码器或生成式推荐 backbone 时，如果采用 looped/weight-tied Transformer，KV cache 不再随循环次数线性占用显存；BeNice 的末次循环 KV 广播 + 首次循环适配可作为低显存长上下文推理方案，适合 Agent 长会话和超长商品描述场景。
- 两阶段思路可迁移：想要模型获得 KV-shareability，不是直接微调，而是在（继续）预训练中引入 stochastic depth / 随机层丢弃，让残差路径收缩到近似固定点；否则同结构不同初始化可能不具备共享性质。
- 后训练可以保持不变原模型主体，只训练首次 recurrence 对末次 KV 的兼容层（或轻量适配器），避免破坏已收敛表示；这与 MLA、GQA、Kimi delta attention 以及 fp8/nvfp4 等量化方案可叠加，可直接纳入现有推理优化 stack。
- 若当前线上不是 looped 架构，建议先把该特性纳入生成式推荐 / Agent 长上下文模型选型：循环 backbone 的参数效率高，但需配套 KV 共享/压缩能力才能获得端到端低显存收益。